BUNDESIREPUBLIK DEUTjfcHLAND 





3 / 





Prioritatsbescheinigung iiber die Einreichung 

einer Patentanmeldung 



Aktenzeichen: 



102 53 510.8 



Anmeldetag: 



16. November 2002 



Anmelder/lnhaber: 



Robert Bosch GmbH, Stuttgart/DE 



Bezeichnung: 



zur verbesserung der 
Sicht in einem Kraftfahrzeug 



IPC: 



G 08 G, B 60 K, G 06 F 



I?lhfn?in h t ef ! eten S i" CkS Slnd eine richti 9 e und 3 en *"* Wiedergabe der 
lichen Unterlagen dieser Patentanmeldung. 



ursprung- 





Munchen, den 16. Oktober2003 
Deutsches Patent- und Markenamt 
Der President 

Auftra« 




Faust 



PRIORITY DOCUMENT 

SUBMITTED OR TRANSMITTED IN 
COMPLIANCE WITH 
RULE 17.1(a) OR (b) 



- 1 - 



R- 304462 



11. 11.02 Fr/Pv 



ROBERT BOSCH GMBH, 70442 Stuttgart 



Vornchtun, und V e rfahren Z ur V.rh P ss P n m g J derSicht in ejnen, Kaftfahgeug 



Stand der Technik 



Die Erfindung betrifft eine Vorrichtung and ein Verfahren zur Verbesserung der Sicht i 
Kraftfahrzeug mit wenigstens einem infrarotempfindlichen Bildsensorsys 



in emem 

terrL 



Die Sxchtverhaltnisse, die dem Fahrer eines Kraftfahrzeuges vorliegen, beeinflussen die 
Unfallhaufigkeit im StraBenverkehr und damit die Yerkehrssicherheit. Neben den 
Beleuchtungsverhaltnissen bestimmen die Wetterverhaltnisse die Sicht des Fahrers Es ist 
bexspxelsweise bekannt, dass sich ein prozentual h5herer Anteil der todlichen Unfalle im 
StraBenverkehr bei Nacht ereignet. Anderseits verschlechtem Nebel, Regen und Schnee die 
Sxchtverhaltnisse. Besonders schwierige Verhaltnisse Uegen vor, wenn schlechte 
Beleuchtungsverhaltnisse und schlechte Wetterverhaltnisse vorhanden sind, beispielsweise 
wenn bei Nacht Regen die Sicht vermindert. 



Aus der DE 40 32 927 C2 ist eine Vorrichtung zur Verbesserung der Sichtverhaltnisse in einem 
Kraftfahrzeug mit einer infrarotempfindlichen Kamera und mit einer als Head-up-Display 
ausgebildeten Anzeigevorrichtung bekannt. Es wird vorgeschlagen, dass als 
Fahrerinformationen das Bild der Kamera als virtuelles Bild der auBeren Landschaft visuell 
uberlagert wird. Zur Ausleuchtung des von der infrarotempfindlichen Kamera erfassten 
Sxchtbereiches wird eine Strahlungsquelle mit einem Infrarotstrahlungsanteil verwendet Die 
Bewertung der Anzeige wird dem Fahrer iiberlassen. 



Vorteile der Erfindung 
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Die Vorrichtung und das Verfahren der vorliegenden Erfindung fuhren zu einer Verbesserung 
der Sicht in einem Kraftfahrzeug bei gleichzeitiger Entlastung des Fahrers. Dieser Vorteil wird 
durch die Steuerung des wenigstens einen Signalisierungsmittels zur Erzeugung der 
Fahrerinformationen in Abhangigkeit des Fahrbahnverlaufs erreicht. Fahrer von heutigen 
modernen Kraftfahrzeugen mUssen eine grofie Informationsmenge aus dem StraBenverkehr und 
dem Kraftfahrzeug selbst verarbeiten. Die nachfolgend beschriebene Vorrichtung und das 
Verfahren ermdglichen in vorteilhafter Weise die Verminderung der durch den Fahrer zu 
verarbeitenden Informationsmenge. Dies fuhrt in besonders vorteilhafter Weise zu einer hohen 
Akzeptanz durch den Fahrer. Zum anderen kann die Vorrichtung und das Verfahren zur 
Reduzierung der Unfallzahlen im StraBenverkehr bei schlechten Beleuchtungsbedingungen 
und/oder Wetterbedingungen beitragen, insbesondere zur Reduzierung der Zahl der Unfalle bei 



Nacht. 



Durch den Einsatz von raumlich hochauflosenden Bildsensorsystemen, beispielsweise mit einer 
Auflosung von 1280x1024 Pixeln, ist die Zahl der erfassbaren Objekte in der Umgebung des 
Kraftfahrzeuges hoch. Die Zuordnung der erfassten Objekte im Detektionsfeld des 
Bildsensorsystems zum Fahrbahnverlauf liefert ein einfaches Entscheidungskriterium, urn die- 
Zahl der darzustellenden Objekte zu reduzieren. Durch die Steuerung des wenigstens einen 
Signalisierungsmittels zur Erzeugung der Fahrerinformationen in Abhangigkeit der Lage 
wenigstens eines Objekts zum Fahrbahnverlauf wird in vorteilhafter Weise eine Reiztiberflutung 
des Fahrers verhindert. Besonders vorteilhaft ist, dass die Ablenkung des Fahrers durch die 
nachfolgend beschriebene Vorrichtung und das Verfahren auf ein Minimum reduziert wird. 
Damit wird in vorteilhafter Weise die Verkehrssicherheit insgesamt erhoht. Daneben ermoglicht 
die Zuordnung der erfassten Objekte zum Fahrbahnverlauf als Entscheidungskriterium den 
Einsatz von einfachen und kostengunstigen Verarbeitungseinheiten. 

Die Steuerung der Signalisierungsmittel zur Erzeugung der Fahrerinformationen in 
Abhangigkeit von der Fahrsituation und/oder von den Sichtverhaltnissen fuhrt zu weiteren 
Vorteilen der nachfolgend beschriebenen Vorrichtung und des Verfahrens. Hierdurch wird ii 
vorteilhafter Weise eine weitere Reduzierung der Informationsmenge, die ein Fahrer 
Kraftfahrzeuges verarbeiten muss, erreicht, indem nur fur den Fahrer wichtige Informationen 
angezeigt werden. Beispielsweise ermSglicht die nachfolgend beschriebene Vorrichtung und das 
Verfahren eine situationsbezogene Warnung des Fahrers vor Hindernissen im Fahrbahnverlauf, 



in 
emes 
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also auf der eigenen Fahrspur und in benachbarten Bereichen, die der Fahrer bei abgeblendeten 
Scheinwerfern bei Nachfahrten nicht sieht. Die Steuerung der Signalisierungsmittel zur 
Erzeugung der Fahrerinformationen in Abhangigkeit von den Sichtverhaitnissen ermoglicht es, 
den Fahrer so rechtzeitig zu warnen, dass er noch auf ein Hindemis reagieren kann. Damit 
werden in vorteilhafter Weise Unfalle verhindert. Gleichzeitig ist es jedoch moglich, auf eine 
Wamung vor einem Hindernis zu verzichten, wenn das fur den Fahrer nicht sichtbare Hindemis 
keine Gefahr darstellt. 



Fahrerinformationen, die zur Reprasentation wenigstens eines Objektes und/oder des 
Fahrbahnverlaufes geeignet sind, ermoglichen es dem Fahrer in vorteilhafter Weise den 
Fahrbahnverlauf zu erfassen und Gefahren, die von Objekten ausgehen, scbnell und sicher selbst 
zu erkennen. Beispielsweise ist es bei Nacht vielfach schwierig, dass der Fahrer den 
Fahrbahnverlauf selbst sehen kann. Durch die gleichzeitige Darstellung des Fahrbahnverlaufs 
und von Objekten kann ein Fahrer beurteilen, ob Objekte eine Gefahr darstellen. 

Durch die Verwendung wenigstens eines Lichtimpulses im Blickfeld des Fahrers zu seiner 
Wamung und/oder wenigstens eines Warnsymbols und/oder wenigstens einer Bildmarkierung 
und/oder wenigstens eines Ausschnitts eines Bildes und/oder wenigstens einen akustischen 
Signals und/oder wenigstens eines optischen Signals als Fahrerinformationen, wird die auf den 
Fahrer einwirkende mformationsmenge reduziert. Durch diese gezielte Wamung des Fahrers 
iiber einen Oder mehrere mOgliche Infonnationswege, wird in vorteilhafter Weise die 
Ablenkungsgefahr des Fahrers verringert. 



Durch Ausleuchtung wenigstens eines Teils der von dem infrarotempfmdhchen 
Bildsensorsystem erfassten Umgebung des Kraftfahrzeuges durch wenigstens eine 
Infrarotstrahlungsquelle, wird die Empfindlichkeit und der raumliche Erfassungsbereich des 
Bildsensorsystems in vorteilhafter Weise erhoht. Die Infrarotstrahlungsquelle ermdglicht die 
Erfassung von Objekten, die keine Infrarotstrahlung abstrahlen, durch das wenigstens eine 
Bildsensorsystem. 

Besonders vorteilhaft ist ein Computerprogramm mit Programmcode-Mitteln, urn alle Schritte 
des nachfolgend beschriebenen Verfahrens durchzufuhren, wenn das Programm auf einem 
Computer ausgefiihrt wird. Die Verwendung eines Computerprogramms ermSglicht die schnelle 
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und kostengiinstige Anpassung des Verfahrens an unterschiedliche Bildsensorsysteme und/oder 
Signalisierungsmittel. 

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausfiihrungsbeispielen 
mit Bezug auf die Figuren und aus den abhangigen Patentanspruchen. 

Zeichnung 

Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausfuhrungsformen 
naher erlautert. 

Es zeigen: 

Figur 1 eine tfoersichtszeichnung eines ersten Ausfuhrungsbeispiels zur Verbesserung der 
Sicht in einem Kraftfahrzeug, 

Figur 2 eine Obersichtszeichnung eines zweiten Ausfuhrungsbeispiels zur Verbesserung der 
Sicht in einem Kraftfahrzeug, 
- Figur 3 ein Blockdiagramm der Vorrichtung zur Verbesserung der Sicht in einem 
Kraftfahrzeug, 
Figur 4 ein Ablaufdiagramm. 

Beschreibung von Ausfiihrungsbeispielen 

Nachfolgend werden eine Vorrichtung und ein Verfahren zur Verbesserung der Sicht in einem 
Kraftfahrzeug mit einem infrarotempfindlichen Bildsensorsystem beschrieben. Uber ein 
Signalisierungsmittel, beispielsweise einen Monitor oder ein Head-up-Display, werden dem 
Fahrer des Kraftfahrzeuges Fahrerinformationen iiber den Fahrbahnverlauf und/oder Objekte in 
der Umgebung des Kraftfahrzeuges angezeigt. Die Anzeige der Fahrerinformationen erfolgt 
dabei in Abhangigkeit des Fahrbahnverlaufes. 

Figur 1 zeigt eine Obersichtszeichnung eines ersten Ausfuhrungsbeispiels zur Verbesserung der 
Sicht in einem Kraftfahrzeug 10, bestehend aus einem infrarotempfindlichen Bildsensorsystem 
12, einem Scheinwerfer 16 und einem Bild auf einem Bildschirm 26. Das Bildsensorsystem 12 
ist im Lmenraum des Kraftfahrzeuges 10 hinter der Windschutzscheibe im Bereich des 
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Innenriickspiegels angebracht. Das Bildsensorsystem 12 ist so ausgerichtet, dass sich der 
Erfassungsbereich 14 des Bildsensorsystems 12 auf die Umgebung des Kraftfahrzeuges 10 in 
Fahrtrichtung erstreckt. Bei dem Bildsensorsystem 12 handelt es sich urn eine infrarotsensitive 
Videokamera mit einem CMOS-Bildsensor und/oder einem CCD-Bildsensor. Der Bildsensor 
des Bildsensorsystems 12 erfasst wenigstens nahe Infrarotstrahlung im Wellenlangenbereich 
zwischen 780 nm und 1000 nm, Das Kraftfahrzeug 10 wird von einem Fahrer gelenkt, wobei 
sich das Kraftfahrzeug 10 auf einer StraBe befindet und in Fahrrichtung fahrt. In der in Figur 1 
gezeigten Situation sind die Wetterverhaltnisse und die Beleuchtungsverhaltnisse schlecht, da 
Dunkelheit die Sicht des Fahrers beeintrachtigt. Zwei Scheinwerfer 16, die rechts und links im 
vorderen Bereich des Kraftfahrzeuges 10 in der Nahe der StoBstange angeordnet sind, leuchten 
die Umgebung des Kraftfahrzeuges 10 in Fahrtrichtung aus. In Figur 1 ist in einer vereinfachten 
Darstellung nur ein Scheinwerfer 16 eingezeichnet. Neben dem Abblendlicht 18 im sichtbaren 
Spektralbereich erzeugen die Scheinwerfer 16 Strahlung mit Fernlichtcharakteristik 20 im 
infiraroten Spektralbereich. Die Reichweite des Abblendlichts 18 betragt etwa 40 m. Die 
Scheinwerfer 16 haben eine Fernlichtfunktion im sichtbaren Spektralbereich, mit denen der 
Fahrer, je nach Witterungsbedingungen, bis zu 200 m sieht. Die Fernlichtfunktion im sichtbaren 
Spektralbereich ist in diesem Ausfuhrungsbeispiel nicht aktiviert. In dem abgestrahlten 
Spektrum der Halogenlampen der Scheinwerfer 16 ist ein hoher Infrarotanteil enthalten, der 
durch diese modifizierten Scheinwerfer 16, unsichtbar fur den Menschen, mit 
Fernlichtcharakteristik abgestrahlt wird. Die Wahrnehmung 22 des Fahrers ist durch die 
Dunkelheit stark eingeschrankt. Dagegen wird eine bessere Wahrnehmung 24 des 
infirarotempfmdlichen Bildsensorsystems 12 durch die Modifikation der Frontscheinwerfer 16 
mit wenigstens Abstrahlung von naher Infrarotstrahlung mit Wellenlangen zwischen 780 und 
1000 nm mit Fernlichtcharakteristik 20 erreicht In der Wahrnehmung 24 des 
infrarotempfindlichen Bildsensorsystems 12 ist ein entgegenkommendes Kraftfahrzeug 28, ein 
FuBganger 30 und die Fahrbahn 32 zu sehen, wShrend in der Wahrnehmung 22 des Fahrers 
lediglich die Scheinwerfer 29 des entgegenkommenden Kraftfahrzeuges 28 zu erkennen sind. * 
Der hinter dem entgegenkommenden Kraftfahrzeug 28 querende FuBganger 30 ist in der 
Wahrnehmung 24 des Bildsensorsystems 12 deutlich zu erkennen, wahrend er in der 
Wahrnehmung 22 des Fahrers nicht sichtbar ist. Die Wahrnehmung 24 des 
infrarotempfindlichen Bildsensorsystems 12 wird verarbeitet und als Bild auf einem Bildschirm 
26 dem Fahrer des Kraftfahrzeuges 10 angezeigt Als Bildschirm wird ein Monitor verwendet, 
der im Armaturenbrett des Kraftfahrzeuges 10 angeordnet ist. Dieser Bildschirm kann sich im 
Bereich der Mittelkonsole und/oder im Kombiinstrument des Kraftfahrzeuges 10 unmittelbar 
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hinter dem Lenkrad befinden. Neben der Anzeige der Geschwindigkeit und/oder der Drehzahl 
durch das Kombiinstrument, hat der Fahrer die Moglichkeit ohne Blickrichtungsanderung auch 
das Bild der Umgebung des Kraftfahrzeuges 10 zu sehen. Mit Hilfe von geeigneten 
Bildverarbeitungsalgorithmen werden Objekte 28, 30 im Detektionsfeld, also im Bereich des 
Fahrbahnverlaufs, erkannt, und die Objekte 28, 30 werden dem Fahrbahnverlauf zugeordnet. 
Die Fahrbahn 32 umfasst dabei grundsatzlich die eigene Fahrspur und die Fahrspur des 
Gegenverkehrs. Bei Autobahnen wird die Fahrbahn 32 durch wenigstens die eigenen 
Fahrspuren gebildet. Die Fahrbahn 32 wird durch die Fahrbahnmarkierungen wie Leitpfosten 
und/oder Fahrspurlinien festgelegt. Der Fahrbahnverlauf umfasst dabei die Fahrbahn 32 selbst 
und angrenzende Bereiche der Fahrbahn 32, wie beispielsweise Randstreifen und/oder Gehwege 
und/oder Radwege und/oder Einmiindungen von StraBen. In diesem Ausfiihrungsbeispiel 
werden als Objekte 28, 30 ein entgegenkommendes Kraftfahrzeug 28 und ein FuBganger 30 
erkannt. Im Bild auf dem Bildschirm 26 wird das durch das infrarotempfmdliche 
Bildsensorsystem 12 aufgenommene Bild der Umgebung des Kraftfahrzeuges 10 mit einer 
Markierung 34 des entgegenkommenden Kraftfahrzeuges 28, einer Markierung 36 des 
FuBgangers 30 und einer Markierung des Fahrbahnverlaufs 38 der Fahrbahn 32 angezeigt. 
Dieses Bild auf dem Bildschirm 26 mit den eingeblendeten Markierungen 34, 36, 38 wird dem 
Fahrer des Kraftfahrzeuges 10 dargeboten. Durch die Markierungen 34, 36, 38 erkennt der 
Fahrer die Objekte 28, 30 wesentlich schneller als bei ausschlieBlicher Anzeige der 
unverarbeiteten Bildinformationen des infrarotempfindlichen Bildsensorsy stems 12 und kann 
sie leicht der eigenen Fahrspur zuordnen. Die Bildverarbeitungsalgorithmen sind in diesem 
Ausfiihrungsbeispiel so ausgelegt, dass die Markierung des Fahrbahnverlaufes 38 immer 
erfolgt, wahrend die Markierungen 34, 36 von Objekten 28, 30 nur durchgefuhrt wird, wenn 
sich die Objekte 28, 30 im Bereich des Fahrbahnverlaufes des Kraftfahrzeuges 10 befinden. Die 
optische Warming durch die Markierungen 34, 36, 38 wird in einer Ausfuhrung durch eine 
akustische Warnung zusatzlich unterstUtzt, falls ein gefahrlicher Zustand erkannt wird. tFber 
einen Lautsprecher kann der Fahrer des Kraftfahrzeuges 10* zusatzlich akustisch gewarnt 
werden. In diesem Ausfiihrungsbeispiel wird ein gefahrlicher Zustand erkannt, weil der 
FuBgMnger 30 hinter dem entgegenkommenden Kraftfahrzeug 28 die Fahrbahn 32 kreuzt und 
die Gefahr eines ZusammenstoBes des eigenen Kraftfahrzeuges 10 mit dem FuBganger 30 
vorhanden ist. 

Figur 2 zeigt eine Ubersichtszeichnung eines zweiten Ausfiihrungsbeispiels zur Verbesserung 
der Sicht in einem Kraftfahrzeug 10, bestehend aus einem infrarotempfindlichen 
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Bildsensorsystem 12, einem Scheinwerfer 16 und der tatsachlichen Sicht des Fahrers 40 des 
Kraftfahrzeuges 10. Wie im ersten Ausfuhrungsbeispiel nach Figur 1 ist das Bildsensorsystem 
12 im Innenraum des Kraftfahrzeuges 10 hinter der Windschutzscheibe im Bereich des 
Innenrtickspiegels angebracht. Das Bildsensorsystem 12 ist so ausgerichtet, dass sich der 
Erfassungsbereich 14 des Bildsensorsystems 12 auf die Umgebung des Kraftfahrzeuges 10 in 
Fahrtrichtung erstreckt Bei dem Bildsensorsystem 12 handelt es sich um eine infrarotsensitive 
Videokamera mit einem CMOS-Bildsensor und/oder einem CCD-Bildsensor. Der Bildsensor 
des Bildsensorsystems 12 erfasst wenigstens nahe Infirarotstrahlung im Wellenlangenbereich 
zwischen 780 nm und 1000 nra. Das Kraftfahrzeug 10 wird von einem Fahrer gelenkt, wobei 
sich das Kraftfahrzeug 10 auf einer StraBe befindet und in Fahrrichtung fahrt. Es liegt die 
gleiche Fahrsituation vor, wie im ersten Ausfuhrungsbeispiel nach Figur 1. Die 
Wetterverhaltnisse und die Beleuchtungsverhaltnisse sind schlecht, da Dunkelheit die Sicht des 
Fahrers beeintrachtigt. Zwei Scheinwerfer 16, die rechts und links im vorderen Bereich des 
Kraftfahrzeuges 10 in der Nahe der StoBstange angeordnet sind, leuchten die Umgebung des 
Kraftfahrzeuges 10 in Fahrtrichtung aus. In Figur 2 ist in einer vereinfachten Darstellung nur ein 
Scheinwerfer 16 eingezeichnet. Neben dem Abblendlicht 18 im sichtbaren Spektralbereich 
erzeugen die Scheinwerfer 16 Strahlung mit Fendichtcharakteristik 20 im infraroten 
Spektralbereich. Die Reichweite des Abblendlichts 18 betragt etwa 40 m. Die Scheinwerfer 16 
haben eine Fernlichtfunktion im sichtbaren Spektralbereich, mit denen der Fahrer, je nach 
Witterungsbedingungen, bis zu 200 m sieht. Die Fernlichtfunktion im sichtbaren 
Spektralbereich ist in diesem Ausfuhrungsbeispiel nicht aktiviert. In dem abgestrahlten 
Spektrum der Halogenlampen der Scheinwerfer 16 ist ein hoher Lnfirarotanteil enthalten, der 
durch diese modifizierten Scheinwerfer 16, unsichtbar fur den Menschen, mit 
FernUchtcharakteristik abgestrahlt wird. Die Wahmehmung 22 des Fahrers ist durch die 
Dunkelheit stark eingeschrankt. Dagegen wird eine bessere Wahmehmung 24 des 
inftarotempfmdlichen Bildsensorsystems 12 durch die Modifikation der Frontscheinwerfer 16 
mit wenigstens Abstrahlung von naher Infrarotstrahlung mit Wellenlangen zwischen 780 und 
1000 nm mit Fernlichtcharakteristik 20 erreicht. In der Wahmehmung 24 des 

* 

infrarotempfindlichen Bildsensorsystems 12 ist ein entgegenkommendes Kraftfahrzeug 28, ein 
FuBganger 30 und die Fahrbahn 32 zu sehen, wahrend in der Wahmehmung 22 des Fahrers 
lediglich die Scheinwerfer 29 des entgegenkommenden Kraftfahrzeuges 28 zu erkennen sind. 
Der hinter dem entgegenkommenden Kraftfahrzeug 28 querende FuBganger 30 ist in der 
Wahmehmung 24 des Bildsensorsystems 12 deutlich zu erkennen, wahrend er in der 
Wahmehmung 22 des Fahrers nicht sichtbar ist. Figur 2 zeigt weiterhin die tatsachliche Sicht 
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des Fahrers 40, umfassend das Lenkrad 42, die Windschutzscheibe 44 und das Aimaturenbrett 
46. In diesem zweiten Ausfiihrungsbeispiel wird die Wahrnehmung 24 des 
infrarotempfindlichen Bildsensorsystems 12 einer Verarbeitungseinheit zugefiihrt, die nur dann 
eine Warnung erzeugt, wenn ein gefahrlicher Zustand erkannt wird. Mit Hilfe von geeigneten 
Bildverarbeitungsalgorithmen werden Objekte 28, 30 im Detektionsfeld, also im Bereich des 
Fahrbahnverlaufs, erkannt, und die Objekte 28, 30 werden dem Fahrbahnverlauf zugeordnet. 
Die Fahrbahn 32 umfasst dabei wie im Ausfuhrungsbeispiel nach Figur 1 grundsatzlich die 
eigene Fahrspur und die Fahrspur des Gegenverkehrs. Bei Autobahnen wird die Fahrbahn 32 
durch wenigstens die eigenen Fahrspuren gebildet. Die Fahrbahn 32 wird durch die 
Fahrbahnmarkierungen wie Leitpfosten und/oder Fahrspurlinien festgelegt Der 
Fahrbahnverlauf umfasst dabei die Fahrbahn 32 selbst und angrenzende Bereiche der Fahrbahn 
32, wie beispielsweise Randstreifen und/oder Gehwege und/oder Radwege und/oder 
Einmiindungen von StraBen. In diesem Ausfuhrungsbeispiel werden als Objekte 28, 30 ein 
entgegenkommendes Kraftfahrzeug 28 und ein FuBganger 30 erkannt. Die Verarbeitungseinheit 
erkennt die Gefahrlichkeit der Situation. Uber eine einfache Projektionseinrichtung, in diesem 
Ausfuhrungsbeispiel ein Einfach-Head-up-Display, wird an der Windschutzscheibe 44 ein 
kleines Warnsymbol 34, 36 als Markienmg 34 des entgegenkommenden Kraftfahrzeugs 28 und 
als Markienmg 36 des FuBgangers 30 in Blickrichtung des Fahrers an der so festgelegten 
Position des entgegenkommenden Kraftfahrzeuges 28 und des FuBgangers 30 erzeugt. 
Hierdurch wird eine Blickhinwendung des Fahrers in die Richtung ausgelost, in der die Objekte 
28, 30 als Hindernisse spater fiir den Fahrer im Blickfeld tatsachlich erscheinen. Als 
Warnsymbol 34, 36 wird in diesem Ausfiihrungsbeispiel eine farbliche Markierung in Form 
eines roten und/oder gelben Dreiecks verwendet Alternativ ist es moglich durch einen kurzen 
Lichtimpuls eine Blickhinwendung des Fahrers in Richtung des Hindernisses durch eine 
Projektionseinrichtung zu erzeugen. Die Sicht des Fahrers 40 der Umgebung des 
Kraftfahrzeuges 10 nach Figur 2 umfasst demhach das Scheinwerferlicht 48 des 
entgegenkommenden Kraftfahrzeuges 28, eine Markierung 34 des entgegenkommenden 
Kraftfahrzeuges 28 und eine Markierung 36 des FuBgangers 30. Durch die Markierungen 34, 36 
wird die Aufmerksamkeit des Fahrers des Kraftfahrzeuges 10 auf diese Objekte 28, 30 gerichtet. 
Die Bildverarbeitungsalgorithmen sind so ausgelegt, dass die Markierung 34, 36 von Objekten 
28, 30 nur erfolgt, wenn sich die Objekte 28, 30 im Bereich des Fahrbahnverlaufes des 
Kraftfahrzeuges 10 befinden und wenn ein gefahrlicher Zustand vorliegt. In diesem 
Ausfuhrungsbeispiel wird ein gefahrlicher Zustand erkannt, weil der FuBganger 30 hinter dem 
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entgegenkommenden Kraftfahrzeug 28 die Fahrbahn 32 kreuzt und die Gefahr eines 
ZusammenstoBes des eigenen Kraftfahrzeuges 10 mit dem FuBganger 30 vorhanden ist. 

In den beiden Ausfuhrungsbeispielen nach den Figuren 1 und 2 werden Bildsensoren 
verwendet, die eine hohe Auflosung besitzen. Einsetzbare Halbleiter-Bildaufhehmer-Chips 
besitzen Aufl5sungen, die fur eine zufriedenstellende Bilddarstellung ausreichen und 
Objekterkennung in Entfemungen bis etwa 70 Meter ermoglichen. Eine Erkennung von 
Objekten, die weiter als 70 Meter vom Bildsensor entfernt sind, erfordern hoher auflosende 
Bildsensoren (Imager) mit Standardaufldsungen mit 1024x768 Pixel oder 1280x1024 Pixel. Mit 
Standardauflosungen von 1024x768 Pixel ist eine Objekterkennung bis etwa 1 10 Meter 
m5glich, wahrend bei einer Standardauflosung von 1280x1024 Pixel eine Objekterkennung bis 
etwa 140 Meter durchgefuhrt werden kann. Die Vergutung der Kameraoptik ist in den beiden 
Ausfuhrungsbeispielen nach den Figuren 1 und 2 an den verwendeten Spektralbereich 
angepasst. Die Vergutung ist dabei so ausgelegt, dass die optischen Eigenschaften im sichtbaren 
Spektralbereich nicht nennenswert verschlechtert sind. Hierdurch ist es moglich, das 
Bildsensorsystem auch fur andere Funktionen bei Tag, also im sichtbaren Spektralbereich, zu 
verwenden. Weiterhin wird die Apertur der Optik an die herrschende Dunkelempfindlichkeit 
angepasst. 

Figur 3 zeigt ein Blockdiagramm der Vorrichtung zur Verbesserung der Sicht in einem 
Kraftfahrzeug des ersten und zweiten Ausfuhrungsbeispiels entsprechend den Figuren 1 und 2, 
bestehend aus einem infrarotempfindlichen Bildsensorsystem 12, einer Verarbeitungseinheit 62 
und wenigstens einem Signalisierungsmittel 66. Das infrarotempfindliche Bildsensorsystem 12 
erfasst optische Signale der Umgebung des Kraftfahrzeuges in Form von Bilddaten. Uber die 
Signalleitung 60 werden die optischen Signale elektrisch und/oder optisch vom 
infrarotempfindlichen Bildsensorsystem 12 zur Verarbeitungseinheit 62 ubertragen. Alternativ 
oder zusatzlich ist eine Obertragung per Funk moglich. Die Verarbeitungseinheit 62 besteht aus 
dem in Figur 4 dargestellten Modul 72, das in diesen Ausfuhrungsbeispielen als Programme 
wenigstens eines Mikroprozessors ausgestaltet ist. In diesem Ausfuhrungsbeispiel liegt die 
Verarbeitungseinheit 62 physikalisch getrennt von den anderen Komponenten 12, 66 vor. 
Alternativ ist es moglich, dass die Verarbeitungseinheit 62 zusammen mit dem 
Bildsensorsystem 12 eine Einheit bildet oder dass die Verarbeitungseinheit 62 im 
Signalisierungsmittel 66 untergebracht ist. Die Verarbeitungseinheit 62 berechnet aus den 
optischen Signalen des infrarotempfindlichen Bildsensorsy stems 12 Signale zur 
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Fahrerinformation. Die berechneten Signale zur Fahrerinfomiation werden iiber eine 
• Signalleitung 64 an wenigstens ein Signalisierungsmittel 66 elektrisch und/oder optisch 
iibertragen. Alternativ oder zusatzlich ist eine Obertragung per Funk moglich. Die 
Signalisierungsmittel 66 erzeugen aus den Signalen zur Fahrerinfonnation die eigentlichen 
Fahrerinformationen beispielsweise in Form einer optischen und/oder einer akustischen 
Waraung. Als Signalisierungsmittel 66 werden im ersten Ausfuhrungsbeispiel ein Display im 
Kombiinstxument als ein erstes Signalisierungsmittel 66 und ein Lautsprecher als ein zweites 
Signalisierungsmittel 66 verwendet, wMhrend im zweiten Ausfuhrungsbeispiel eine 
Projektionseinrichtung eingesetzt wird. 

Figur 4 zeigt ein Ablaufdiagramm des Verfahrens zur Verbesserung der Sicht in einem 
Kraflfahrzeug des ersten und zweiten Ausfuhrungsbeispiels entsprechend den Figuren 1 und 2 
und der Vorrichtung nach Figur 3, bestehend aus dem Verarbeitungsmodul 72. Die optischen 
Signale 70 werden dem Verarbeitungsmodul 72 zugefiihrt, das als Ausgabesignale die Signale 
zur Fahrerinf ormation 74 berechnet. Das Verarbeitungsmodul besteht aus zwei 
parallelarbeitenden Modulen, dem Modul zur Fahrbahnverlaufserkennung 76 und dem Modul 
zur Objekterkennung 78. Die Algorithmen zur Spur- und/oder Fahrbahnerkennung des Moduls 
zur Fahrbahnverlaufserkennung 76 und zur Objekterkennung des Moduls zur Objfekterkennung 
78 sind zu einem Gesamtalgorithmus zusammengefugt. Diese beiden Module 76, 78 tauschen 
Informationen und Teilergebnisse wahrend der Verarbeitung aus. Im Modul zur 
Fahrbahnverlaufserkennung 76 werden aus den optischen Signalen 70 Objekte ermittelt, welche 
die Fahrbahn oder die Fahrspur festlegen. Diese Objekte sind beispielsweise Leitpfosten 
und/oder Fahrspurlinien. Durch die Kenntnis der Lage dieser Objekte, wird der Fahrbahnverlauf 
berechnet. Die Objekte zur Berechnung des Fahrbahnverlauf s werden durch Auswertung von 
Kontrasten im Bild errnittelt. Beispielsweise werden zur Ermittlung der Fahrspurlinien 
Kontrastunterschiede zwischen den Spurmarkierungen und der Fahrbahnoberflache ausgewertet 
und von der Verarbeitungseinheit in der Bildsequenz verfolgt. Unstetigkeiten und/oder kurze 
Unterbrechungen der Linien werden beispielsweise durch Kalman-Filteralgorithmen korrigiert. 
Ln Modul zur Objekterkennung 78 werden aus den optischen Signalen ebenfalls Objekte 
errnittelt Zur Objektdetektion werden Kontrastunterschiede zwischen Objekt und Umfeld 
ausgewertet. In einer Variante des beschriebenen Verfahren wird durch die Verwendung einer 
Stereokamera eine Entfernungsbestimmung der detektierten Objekte durchgefiihrt. Aus der 
GroBe des Umrisses des Objektes und dessen Entfernung wird eine GroBenbestimmung des 
Objektes ermoglicht. Als Objekte werden insbesondere entgegenkommende Kraftfahrzeuge 
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und/oder FuBganger und/oder Radfahrer und/oder Motorradfahrer und/oder Lastkraftwagen 
erkannt. In einer ersten Variante werden lediglich Objekte an sich erkannt, wahrend in einer 
weiteren Variante eine Objektklassifikation durchgefuhrt wird. Ein Vergleich zwischen einem 
erkannten Bildmuster, beispielsweise der Form und/oder der GrtiBe des Objektes, und einem in 
der Verarbeitungseinheit gespeicherten Bildmuster bildet die Grundlage zur 
Objektklassifikation. AnschlieBend wird eine Berechnung der dreidimensionalen Lage der 
erkannten Objekte zum ermittelten Fahrbahnverlauf durchgefuhrt. Durch diesen 
Gesamtalgorithmus ist eine Objektzuordnung zum Fahrbahnverlauf , insbesondere zur Fahrspur 
und/oder zur Fahrbahn, moglich. 

Die beschriebene Vorrichtung und das Verfahren sind nicht auf ein einzelnes Bildsensorsystem 
beschrankt. Vielmehr werden in einer Variante zusatzliche Bildsensorsysteme verwendet, deren 
optischen Signale der wenigstens einen Verarbeitungseinheit zugefuhrt werden. Die 
Bildsensorsysteme sind dabei mit Farbbildsensoren und/oder schwarz/weiB-Bildsensoren 
ausgeriistet. In einer weiteren Variante wird wenigstens ein Bildsensorsystem verwendet, das 
aus wenigstens zwei Bildsensoren besteht, die im wesentlichen dieselbe Szene aufhehmen. In 
einer anderen Variante wird wenigstens eine Stereokamera verwendet. 

In einer weiteren Variante der beschriebenen Vorrichtung und des Verfahrens wird als 
Fahrerinformation neben wenigstens einem Lichtpuls und/oder wenigstens einem Warnsymbol 
und/oder wenigstens einer Bildmarkierung und/oder eines akustischen Signals alternativ oder 
zusatzlich wenigstens ein Ausschnitt eines Bildes und/oder ein haptisches Signal erzeugt. Diese 
Moglichkeiten werden entweder einzeln oder in beliebigen Kombinationen eingesetzt. 

Eine weitere Variante der beschriebenen Vorrichtung enthalt neben dem wenigstens einem 
optischen Signalisierungsmittel und/oder dem wenigstens einen akustischen 
Signalisierungsmittel alternativ oder Zusatzlich wenigstens ein haptisches Signalisierungsmittel. 
Diese Signalisierungsmittel werden entweder einzeln oder in beliebigen Kombinationen 
eingesetzt. 

» 

In einer weiteren Variante der beschriebenen Vorrichtung und des Verfahrens werden von der 
Verarbeitungseinheit alternativ oder zusatzlich die Sichtverhaltnisse berucksichtigt. Die 
Sichtverhaltnisse sind dabei durch die Sicht des Fahrers defmiert. Durch die Einbeziehung der 
Sichtverhaltnisse wird in dieser Variante der Fahrer nur bei solchen Objekten gewamt, wenn er 
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diese selbst nicht sehen kann. Dies fiihrt zu einer Reduzierung der durch den Fahrer zu 
verarbeitende Informationsmenge. 

Eine weitere Variante sieht vor, anstatt des modifizierten Scheinwerfers mit Halogenlampe nach 
einem der vorhergehenden Ausfiihrungsbeispiele, als Infrarotstrahlungsquelle einen Lrfrarot- 
Laser basierten Scheinwerfer zu verwenden. 

In einer weiteren Variante der beschriebenen Vorrichtung und des Verfahrens werden mehr als 
eine Verarbeitungseinheit verwendet. Hierdurch ist eine Verteilung der Algorithmen auf 
mehrere Verarbeitungseinheiten moglich. Gleichzeitig liegt eine Redundanz der benotigten 
Rechenkapazit&t vor, so dass beim Ausfall einer Verarbeitungseinheit, die Vorrichtung und das 
Verfahren zur Verbesserung der Sicht weiterhin funktionsfahig bleiben, da die verbleibenden 
Verarbeitungseinheiten den Ausfall kompensieren. 

Die Verwendung von wenigstens einem weiteren Sensor ermoglicht in einer weiteren Variante 
der beschriebenen Vorrichtung und des Verfahrens eine Verbesserung der Sicht in einem 
Kraftfahrzeug. Durch die Verwendung von wenigstens einem weiteren Sensor und der Fusion 
der Sensorsignale mit den erzeugten optischen Signalen wird eine zuverlassigere Erkennung des 
Fahrbahnverlaufs und/oder der Objekte erreicht. Als wenigstens ein weiterer Sensor wird 
wenigstens ein Radarsensor und/oder wenigstens ein Ultraschallsensor und/oder wenigstens ein 
LIDAR-Abstandssensor verwendet. Die Verwendung wenigstens eines weiteren Sensors 
ermoglicht die redundante Bestimmung der Lage wenigstens eines Objektes und/oder des 
Fahrbahnverlaufes. 
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Anspruche 

1 . Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug 

- mit wenigstens einem infrarotempfindlichen Bildsensorsystem zur Erfassung von 
optischen Signalen von der Umgebung des Kraftfahrzeuges, 

- wenigstens einem Signalisierungsmittel zur Erzeugung von Fahrerinformationen, 

- und wenigstens einer Verarbeitungseinheit zur Steuerung des wenigstens einen 
Signalisierungsmittels in Abhangigkeit von den erf assten optischen Signalen; 

dadurch gekennzeichnet, dass die wenigstens eine Verarbeitungseinheit Mittel aufweist, urn 
den Fahrbahnverlauf aus zumindest den optischen Signalen zu erkennen und um das 
wenigstens eine Signalisierungsmittel zur Erzeugung der Fahrerinformationen in 
Abhangigkeit des erkannten Fahrbahnverlaufs zu steuern. 

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Verarbeitungseinheit 
Mittel aufweist, um wenigstens ein Objekt, beispielsweise wenigstens ein Kraftfahrzeug 
und/oder wenigstens einen FuBgSnger, aus zumindest den optischen Signalen zu erkennen 
und das wenigstens eine Signalisierungsmittel in Abhangigkeit der Lage des wenigstens 
einen erkannten Objekts zum Fahrbahnverlauf zu steuern. 

3. Vorrichtung nach einem der vorhergehenden AnsprUche, dadurch gekennzeichnet, dass die 
Verarbeitungseinheit Mittel aufweist, um das Signalisierungsmittel in Abhangigkeit von der 
Fahrsituation, insbesondere der Gefahrlichkeit der Fahrsituation, und/oder in Abhangigkeit 
von den Sichtverhaltnissen zu steuern. 
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4. Voirichtung nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die 
Verarbeitungseinheit Mittel aufweist, urn die Erkennung des Fahrbahnverlaufes und/oder 
die Erkeimung von Objekten in Abhangigkeit von Signalen wenigstens eines weiteren 
Sensors, beispielsweise wenigstens einem Radarsensor und/oder wenigstens einem 
Ultraschallsensor und/oder wenigstens einem LIDAR-Abstandssensor, durchzuftihren. 

5. Voirichtung nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die 
Fahrerinformationen zur Representation wenigstens eines Objektes, insbesondere 
wenigstens eines Kraftfahrzeuges und/oder wenigstens eines FuBgSngers, und/oder des 
Fahrbahnverlaufes geeignet sind. 

6. Voirichtung nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass die 
Fahrerinformationen wenigstens ein Lichtimpuls und/oder wenigstens ein Warnsymbol 
und/oder wenigstens eine Bildmarkierung und/oder wenigstens ein Ausschnitt eines Bildes 
und/oder wenigstens ein akustisches Signal und/oder wenigstens ein haptisches Signal sind. 

7. Voirichtung nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass 
wenigstens eine Infrarotstrahlungsquelle wenigstens einen Teil der von dem 
infrarotempfindlichen Bildsensorsystem erfassten Umgebung des Kraftfahrzeuges 
ausleuchtet. 

8. Vorrichtung nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, dass das 
wenigstens eine Signalisierungsmittel wenigstens ein optisches Signalisierungsmittel, 
insbesondere wenigstens ein Head-up-Di splay und/oder wenigstens ein Bildschirm, 
und/oder wenigstens ein akustisches Signalisierungsmittel und/oder wenigstens ein 
haptisches Signalisierungsmittel ist. 

9. Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug 

wobei wenigstens ein infrarotempfindliches Bildsensorsystem optische Signale von der 
Umgebung des Kraftfahrzeuges erfasst, 

wobei wenigstens eine Verarbeitungseinheit wenigstens ein Signalisierungsmittel zur 
Erzeugung von Fahrerinformationen in Abhangigkeit von den erfassten optischen 
Signalen steuert, 
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dadurch gekennzeichnet, dass die Verarbeitungseinheit den Fahrbahnverlauf aus zumindest 
den optischen Signalen erkennt und dass die Fahrerinformationen in Abhangigkeit von dem 
erkannten Fahrbahnverlauf erzeugt werden. 

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass 

die Fahrerinformationen in Abhangigkeit der Lage von wenigstens einem Objekt zum 
Fahrbahnverlauf erzeugt werden, wobei das wenigstens eine Objekt, beispielsweise 
wenigstens ein Kraftfahrzeug und/oder wenigstens ein FuBganger, aus zumindest den 
optischen Signalen erkannt wird, und/oder 

die Fahrerinformationen in Abhangigkeit von der Fahrsituation, insbesondere der 
Gefahrlichkeit der Fahrsituation, erzeugt werden, und/oder 

- die Fahrerinformationen in Abhangigkeit von den Sichtverhaltnissen erzeugt werden, 
und/oder 

- die Fahrerinformationen in Abhangigkeit von Signalen wenigstens eines weiteren 
Sensors, beispielsweise wenigstens eines Radarsensors und/oder wenigstens eines 
Ultraschallsensors und/oder wenigstens eines LIDAR-Abstandssensors, erzeugt werden, 
und/oder 

die Fahrerinformationen zur Representation wenigstens eines Objektes, insbesondere 
wenigstens eines Kraftfahrzeuges und/oder wenigstens eines FuBgangers, und/oder des 
Fahrbahnverlaufes geeignet sind, und/oder 

die Fahrerinformationen wenigstens ein Lichtimpuls und/oder wenigstens ein 
Warnsymbol und/oder wenigstens eine Bttdmarkierung und/oder wenigstens ein 
Ausschnitt eines Bildes und/oder wenigstens ein akustisches Signal und/oder wenigstens 
ein haptisches Signal sind. 



11. Computerprogramm mit Programmcode-Mitteln, urn alle Schritte von jedem beliebigen der 
Anspriiche 9 und 10 durchzufuhren, wenn das Programm auf einem Computer ausgefiihrt 
wird. 
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Vo rrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug 
Zusammenfassung 

Es werden eine Vorrichtung und ein Verfahren zur Verbesserung der Sicht in einem 
Kraftfahrzeug mit einem infrarotempfindlichen Bildsensorsystem vorgeschlagen. Uber ein 
Signalisierungsmittel, beispielsweise einen Monitor oder ein Head-up-Display, werden dem 
Fahrer des Kraftfahrzeuges Fahrerinformationen liber den Fahrbahnverlauf und/oder Objekte in 
der Umgebung des Kraftfahrzeuges angezeigt. Die Anzeige der Fahrerinformationen erfolgt 
dabei in AbhMngigkeit des Fahrbahnverlaufes. 



(Figur 1) 
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